Codificación de fuente
La clase de los codigos UD es más grande que la de los instantáneos, sin embargo no presentan ninguna ventaja respecto a la longitud de las palabras de código.
La desigualdad entre las entropías (punto 2) se obtiene de multiplicar cada término por
De esta forma se obtiene la fórmula de largo medio y la definición de entropía.
[p es la correcta y q la incorrecta/estimada]
VER EXPLICACIÓN DE LA FIGURA EN EL LIBRO
Usando los 3 lemas de arriba:
A medida que la secuencia es más grande el intervalo se achica y los primeros bits quedan fijos, por lo cual “ya se pueden transmitir”.
Como el primer símbolo es A, restringimos el intervalo a
Para el segundo símbolo, el total del espacio disponible deja de ser
Como el 2do símbolo es C, nos quedamos con el último 20% del intervalo pues
Entonces, quedamos con
Repetimos para el 3er y 4to símbolo.
Dado el intervalo final,
Donde la última desigualdad se cumple por Kraft.